หลวงพ่อศิลา เดิมประดิษฐานอยู่ถ้ำเจ้าราม มีฝูงค้างคาวอาศัยอยู่มาก ชาวบ้านไปหามูลค้างคาว พบพระพุทธรูปทำด้วยศิลาปางนาคปรก เมื่อกลับถึงหมู่บ้าน ชาวบ้านไปบอก พระอภัยที่เป็นเจ้าอาวาสวัดทุ่งเสลี่ยม หารือกับผู้ใหญ่บ้านว่าจะอัญเชิญหลวงพ่อศิลามาไว้วัดทุ่งเสลี่ยม เนื่องจากพระอภัยสูงอายุ เดินทางไม่ไหว จึงได้ล้มเลิก ความรู้ถึงครูบาก๋วนเจ้าอาวาสวัดแม่ปะหลวง ตำบลแม่ปะ อำเภอเถิน จังหวัดลำปาง นำชาวบ้านไปอัญเชิญหลวงพ่อศิลา เมื่อเข้าไปในถ้ำเจ้ารามพบพระพุทธรูปปางนาคปรก มีค้างคาวบินวนเวียนมากมาย ครูบาก๋วนได้อัญเชิญพระพุทธรูปออกจากถ้ำเจ้าราม ในราวปี2472-2475 เดินทางกลับด้วยความลำบาก ผ่านหนองปลาซิว (บ้านห้วยทราย) หนองส้มป่อย (บ้านน้ำดิบ) จนถึงทุ่งเสลี่ยม ชาวทุ่งเสลี่ยมจัดขบวนแห่ต้อนรับ เมื่อถึงวัดทุ่งเสลี่ยมเกิดปาฏิหาริย์ขึ้น ท้องฟ้าที่แจ่มใส ก็ถูกบดบังด้วยเมฆฝน เกิดฝนตกหนักเป็นเวลานาน เมื่อฝนหยุดตกมีฝูงค้างคาวบินวนเหนือวัดทุ่งเสลี่ยม แล้วบินกลับถ้ำเจ้าราม ชาวบ้านเห็นความศักดิ์สิทธิ์ของพระพุทธรูป ไม่ยอมให้ครูบาก๋วนอัญเชิญกลับไปยังอำเภอเถิน เจ้าอาวาสวัดทุ่งเสลี่ยมจึงหารือกับเจ้าคณะอำเภอสวรรคโลก ซึ่งตกลงให้พระพุทธรูปศิลาประดิษฐานที่วัดทุ่งเสลี่ยม ชาวบ้านตั้งชื่อว่า "หลวงพ่อศิลา" ครูบาก๋วนจึงได้จำลองหลวงพ่อศิลา อัญเชิญไปไว้ที่วัดแม่ปะหลวง อำเภอเถิน จังหวัดลำปาง ด้วยใจศรัทธา ถูกโจรกรรม